IT > TECH > AI > NLP 딥 러닝을 이용한 자연어처리 입문3. 카운트 기반 단어표현(1) 1. 단어 표현 방법 (1) 국소표현(local representation) : 단어 자체만 보고 표현 = 이산(discrete) count-based (Bag of words)(DTM) (2) 각 인덱스의 위치에 단어 토큰의 등장 횟수를 기록한 벡터를 생성 BoW는 주로 특정 단어 빈도수로 어떤 성격의 문서인지 판단하는데 주로 사용된다. 불용어 제거 BoW example 3. DTM = 문... IT > TECH > AIIT > TECH > AI > NLPIT > TECHITIT 딥 러닝을 이용한 자연어처리 입문1. 텍스트 전처리(4) 0. 불용어(Stopword) cleaning. 데이터에서 의미가 없는 토큰 제거. (분석에 도움이 되지 않으며 복잡도만 높임) konlpy example stopword사전 : 참고... IT > TECH > AIITIT > TECHIT > TECH > AI > NLPIT
딥 러닝을 이용한 자연어처리 입문3. 카운트 기반 단어표현(1) 1. 단어 표현 방법 (1) 국소표현(local representation) : 단어 자체만 보고 표현 = 이산(discrete) count-based (Bag of words)(DTM) (2) 각 인덱스의 위치에 단어 토큰의 등장 횟수를 기록한 벡터를 생성 BoW는 주로 특정 단어 빈도수로 어떤 성격의 문서인지 판단하는데 주로 사용된다. 불용어 제거 BoW example 3. DTM = 문... IT > TECH > AIIT > TECH > AI > NLPIT > TECHITIT 딥 러닝을 이용한 자연어처리 입문1. 텍스트 전처리(4) 0. 불용어(Stopword) cleaning. 데이터에서 의미가 없는 토큰 제거. (분석에 도움이 되지 않으며 복잡도만 높임) konlpy example stopword사전 : 참고... IT > TECH > AIITIT > TECHIT > TECH > AI > NLPIT